【源头活水】EF-Net一种适用于双流SOD的有效检测模型（Pattern Recognition）

“问渠那得清如许，为有源头活水来”，通过前沿领域知识的学习，从其他研究领域得到启发，对研究问题的本质有更清晰的认识和理解，是自我提高的不竭源泉。为此，我们特别精选论文阅读笔记，开辟“源头活水”专栏，帮助你广泛而深入的阅读科研文献，敬请关注。

作者：知乎—明泽danny

地址：https://www.zhihu.com/people/lu-ying-14-64

EF-Net: A novel enhancement and fusion network for RGB-D saliency detection

Qian Chen, Keren Fu, Ze Liu, Geng Chen, Hongwei Du, Bensheng Qiu, Ling Shao

论文下载：

https://www.sciencedirect.com/science/article/abs/pii/S0031320320305434

论文代码：(未公开)

01

简介

显著目标检测(SOD)在计算机视觉领域得到了广泛的关注。但面临低质量的深度图，现有模型的检测结果都不是很理想。为了解决这一问题，该文提出了一种新型多模态增强融合网络(EF-Net)，用于有效的RGB-D显性检测。具体来说，首先仅仅利用RGB图像提示映射模块来预测提示映射，编码突出对象的粗略信息。然后利用得到的提示图经过深度增强模块来增强深度图，从而抑制噪声并锐化对象边界。最后，该文构造了分层聚合模块，用于融合增强后的深度图与RGB图像中提取的特征，以精确地检测突出对象。该文提出的EFNet利用增强和融合框架进行显着性检测，充分利用了RGB图像和深度图中的信息，有效地解决了深度图的低质量问题，显著提高了显着性检测性能。在五个广泛使用的基准数据集上的广泛实验表明，该方法在五个关键评价指标方面优于12种最先进的RGB-D显着性检测方法。

02

主要贡献

1. 该文提出了一种新型深度增强和融合框架来解决深度地图的低质量问题，它利用RGB图像的颜色提示映射模块提供的先验知识，有效地提高了深度地图的质量。

2. 该文提出了一个有效的分层聚合模块，充分利用多模态数据用以融合从RGB图像和增强深度图中提取的特征。

3. 该文提出的EF-Net在五个广泛使用的基准数据集上的评价指标优于12种SOTA方法。通过进一步评价RGB-T数据表明，EF-Net是一般多模态显着性检测的有效解决方案。

03

与其他方法比较的可视化图片

04

模型

1）首先将RGB图像输入ResNet-50编码架构，得到四层编码特征，再利用一个1×1和两个3×3卷积层提取显着性特征{Hi0, i = 1, 2, 3, 4}和边缘特征{Ei0, i = 1, 2, 3, 4}，同时将特征通道数变为32通道。

2）将显着性特征{Hi0, i = 1, 2, 3, 4}和边缘特征{Ei0, i = 1, 2, 3, 4}输入CRUs模块，具体公式如下：

其中Hin和Ein表示第n个CRU的第i级的提示和边缘特征，Cat（·）是沿信道轴的级联操作，Conv（·）表示具有32个输出通道的3×3卷积层，CU（·）是一个尺度变换操作，以及具有32个输出通道的1×1卷积层，∏表示元素级乘所有级别的特征。经过四次CRU操作后，得到最终的特征Hi4和Ei4，为了清晰起见，将符号Hi4和Ei4简化为Hi和Ei 。此操作可参考文献 （Z. Wu, L. Su, Q. Huang, Stacked cross refinement network for edge-aware salient object detection, in: IEEE ICCV, 2019, pp. 7264–7273.

下载链接：

https://openaccess.thecvf.com/content_ICCV_2019/html/Wu_Stacked_Cross_Refinement_Network_for_Edge-Aware_Salient_Object_Detection_ICCV_2019_paper.html

附图如下：

3）将特征Hi和Ei分别输入U-Net网络，即利用U-Net解码结构将特征Hi和Ei得进行一系列卷积、上采样和级联，以自顶向下的方式融合四个层得到初步的显著性预测图hint map Sh

与边缘预测图edge map Se。

4）将Sh 与深度图depth输入深度增强模块DEM，模块图如下：

得到增强的深度初始图，再输入ResNet-18进行训练，得到增强的深度图 {EDi, i = 1, 2, 3, 4}。初始深度图与增强后的深度图对比如下，可以看到质量明显提升。

5）将增强的深度图 {EDi, i = 1, 2, 3, 4}与步骤2）得到的显著特征图{Hi, i = 1, 2, 3, 4}输入跨模态融合模块，模块图如下：

公式为：

在特征聚合之后，再次使用U-Net来组合和细化{DHi，i=1、2、3、4}来预测最终的显着性映射Sf。

05

损失函数

该文利用多监督提升模型的性能，损失函数为交叉熵损失。将深度监督应用于初步的显著性预测图 Sh 与边缘预测图 Se，用GT图Gs监督Sh，用GT取梯度得到的边界图Ge监督Se，用GT图Gs监督最终的显着性映射Sf。公式如下：

06

实验结果

EF-Net和其他8种最先进的方法在四个基准数据集上的F-测度和精度-回归曲线：

定量评价结果：

除了在RGB-D数据集上训练测试网络之外，该文还在RGB-T上训练测试网络，结果如下：

07

总结

该文提出了一种有效的RGB-D显性检测方法EF-Net，它首先利用从高质量RGB图像中学习到的先验知识增强深度图，然后在增强和融合框架中融合RGB和增强的深度特征。EF-Net由三个主要模块组成，包括用于生成提示图的CHMM、用于增强带有颜色提示图的深度图的DEM和用于聚合多模态特征的LAM。该方法有效地解决了深度图的低质量问题，并解决了与多模态融合相关的挑战，这最终导致了有希望的显着性检测性能。在四个流行的基准上的广泛实验表明，EFNet明显优于现有的SOTA方法。此外，在两个RGB-T数据集上进行了额外的实验，以探索EF-Net进一步扩展到RGB-T显性检测。实验结果表明，EF-Net能够准确地从RGB-T数据中检测出突出物体，这意味着EF-Net是一种有效的双流显著物体检测解决方案。

本文目的在于学术交流，并不代表本公众号赞同其观点或对其内容真实性负责，版权归原作者所有，如有侵权请告知删除。

“源头活水”历史文章

更多源头活水专栏文章，

请点击文章底部“阅读原文”查看

分享、在看，给个三连击呗！